Fractal Summarizer フィードバックまとめ
2024/4/26nishio.icon
社内勉強会で書籍を紹介するにあたってFractal Summarizerの要約を使った
資料に使いたい粒度の要約が手に入って便利
感じた問題点
https://gyazo.com/28c0f183a28ee0d2b49637f3e0c57548
チャンクの真ん中にセクション区切りがある
この時に前半と後半の内容が異なりすぎていて後半が無視されてる
しかし後半は「新しい節の最初の段落」で、ここからなんの話をするのかをナビゲートする役割があるため捨てて欲しくなかった
考察
この問題に気づけたこと自体が、一通りの要約ではないことによるメリット
セクション区切りを検出するアプローチもありかもしれない
やりたいblu3mo.icon*2
雑なやり方として「LLMに放り込んで区切りを検出させる」がありそうblu3mo.icon
ただ、もっと高速かつユーザーが制御しやすい仕組みがないか考えているblu3mo.icon
書籍の見やすい要約を提供したい立場としては、こういうのが発生したのを見てから区切りをコントロールして再生成したくなる(がインターフェイスの設計が複雑だね)
一方向的な「一度送信して生成されたものを読む」仕組みではなく、双方向的な「生成されたものを読みつつ必要に応じてフィードバックを返す」仕組みが作れそうblu3mo.icon
2024/4/24
nishio.icon今別のことをしてて唐突に思ったんだけど、末端の入力が「人々の多様な意見」の場合、ブロードリスニングの一形態とみなせる気がした
今は入力の順序に基づいてチャンク分けしているので、順序がバラバラの多様な意見を入力するとよく分からないフラクタル要約になりそうblu3mo.icon
埋め込みベクトルにして、k平均法でkを変えてクラスタリングするイメージだったnishio.icon
なるほどblu3mo.icon*2
順序ではなく意味に基づいてチャンク分けできると、多様な意見を理解するのに役立つ要約が生成できそう
そこからの発想の飛躍
各パーセプトロンで線型結合の代わりにLLMによる重みづけ要約をやるイメージ https://gyazo.com/b091083e40fd14f0f9418c1aec945a16https://gyazo.com/1444e4e451b544a73143ba22d6c998c1
適切にエッジを重みづけできれば、「意味に基づくチャンク分け」に近いことができる
入力から出力に向かうにつれて、だんだん特徴が抽出されていくイメージ
その過程をFractal Reader的なUIで可視化すればトレーサビリティも担保できる
どうやって状態を評価してエッジを重みづけするのかが問題
backpropなどできないので、どこまでNNの模倣に意味があるか不明だけど
いや、LLM自体NNだしbackprop出来ないことはないのか?
「low-costなLLMでこれをやると、high-costなLLMより安く良質な要約を生成できる」という仮説が立てられそう
トレーサビリティもあるし、中間層のデータを他の用途に使うこともできる
2024/4/23
nishio.icon
社内でフラクタル要約の話をしたら面白がられた。
そのときにアドリブで出てきたセリフ「AIが会議の議事録作ったとして『本当にそんなこと言ってたっけ？』って絶対なるじゃないですか、これは必要に応じて掘り下げていけるので『ブラックボックス』ではなく『トレーサビリティのある要約』なんですよ！」
---
下の内容を踏まえて考えたこと
行（分割の最小単位）の分け方は考えたい
単に改行で分けると、望ましくない分かれ方をすることがある
----
フラクタル要約
Claude.icon
昼休憩後のセッションでは、blu3moさんが開発したフラクタル要約の仕組みが紹介され、参加者で試用した。
フラクタル要約は、本文を段階的に要約し、読者が興味を持った部分を掘り下げられるようにするツールである。
参加者からは、要約の質やわかりやすさについてのフィードバックが寄せられた。
本文の内容を補完する追加情報の必要性についても議論された。
何に価値を感じたか/感じなかったかが知りたいblu3mo.icon
サマリが並んだ画面で、要約なしの日本語訳を読みたかった（サマリ4と原文の間のカラムとして存在するイメージ）
欲をいうと、何らかの形でScrapboxの該当ページへの動線もあれば読んだ感想を書き込みやすくなるなと思ったり…
画面分割で自己解決しました
https://scrapbox.io/files/66234befbd9f6300268b4089.png
各章の位置付けについての言及がSummary Level 1-2くらいに入っていると読みやすさが増すかも？
https://scrapbox.io/files/66234fdfa478a900244e388f.png
なるほどblu3mo.icon*2
レベル1~2あたりのSummaryの筋が悪いように見えるので、改善したいblu3mo.icon
僕も1ポモドーロくらい集中してフラクタル要約を読んでみるかな…nishio.icon
こういう「Scrapboxに一塊の概念としておくのにちょうどいいフレーズ」が出てくるのはいいなと思った
オリバー・ウェンデル・ホームズは文明の最大の価値は生活の手段を複雑にし、より豊かな生活を可能にすることだと述べ、カルロ・ロヴェッリは現実は物の集まりではなくプロセスのネットワークであると説明し、テクノクラシーとリバタリアニズムは科学に根ざしており、複雑さや出現、多層的組織を重視する⿻のアプローチが社会システムに新たな視点を提供する。 https://scrapbox.io/files/66234cb926c5a700249139ca.png
内容に差がありすぎて戸惑った
ここの要約は体感があまりよくないな
原文がそもそもストーリーの飛躍が大きすぎて情報の羅列的になってることが問題なのかな…
https://scrapbox.io/files/66234e120202780024007d28.png
うーん飛躍が...
多分実装としてはレベル3とレベル4は入力の範囲が違うだけでパラレルに実行されてるんだろうけど、ユーザの素直な気持ちとしては3と4には連続性があることを期待する
なるほどblu3mo.icon*2
ので3が4を入力にとるか、4が3を入力に取るか、いっそ何回かすり合わせを繰り返すか…
J.C.R.リックライダーは、コンピュータ技術の発展と利用に関する決定は公共の利益のためだけでなく、将来を形作る意思決定プロセスに公衆自身が参加する手段を提供するために行われるべきだと主張しています。
で、各質問から各章に飛べるようにする
https://scrapbox.io/files/6623500b038fe100253f80c2.png
ルナ(架空の人物)の話がやたら多いな？
https://scrapbox.io/files/662350374625bd00279e75ba.png
ああー、そういうことね
改行がたくさん入ってるのでそれを段落と誤認している
短すぎる場合には一定の長さまで結合する処理を入れるとか？
もしくはPDFからページごとのコンテンツに変換したデータが僕の手元にあるからそれをつかう？